Het kasteel Van Acker werd gebouwd net voor de Eerste Wereldoorlog door de toenmalige burgemeester, voorzitter van de provincieraad van Oost-Vlaanderen en advocaat, Joseph Libbrecht en diens echtgenote F. Soupart, naar een ontwerp van architect J. De Bosscher uit Heusden.
Na het overlijden van mevrouw Soupart, in 1914, bleef het kasteel onafgewerkt tot het in 1923 werd verkocht aan M. Van Acker-Henry. In 1974 werd het door de gemeente aangekocht en ingericht als gemeentehuis. Het kasteel is opgetrokken in Franse Euvillesteen, Franse witsteen. Deze steen wordt zelden gebruikt in ons land voor dergelijke grote monumenten. Het gebouw, in prachtig neo-Lodewijk XVI-stijl, ligt in een vrij uitgestrekt Engels park van 5 ha met vijvers. In 1981 werd het domein, met het kasteel, beschermd als dorpsgezicht.